GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression
GeoPair：保持几何的跨层分解实现无训练 Transformer 压缩
🧭 Transformer 压缩 · 跨层矩阵分解
MWS AI · ITMO University
提出训练无关的跨层共享字典分解框架 GeoPair，通过优化跨层配对保持各层激活几何，实现高效 Transformer 压缩
📌 工作参考价值（4 点）
- 可直接用于电商/广告场景中 Transformer 塔（如用户行为序列建模、多模态编码器）的后训练压缩：用校准数据离线优化跨层权重配对，无需微调，适合快速上线低延迟推理。
- 跨层共享字典分解能显著降低大模型部署内存，尤其适合多任务或多模态推荐模型中共用 backbone 的场景；比起逐层独立分解，它利用层间冗余，参数效率更高。
- 结构化稀疏与共享字典联合优化，能同时减少参数量和计算量，对移动端或边缘推理有直接工程价值。
- 方法论上可迁移：不要简单按相邻层或启发式层级合并，而是用优化目标显式保持每层激活几何，等价于用校准数据做结构搜索，在压缩与精度之间取得更好平衡。